语言，视觉和多模式预审查的大量融合正在出现。在这项工作中，我们介绍了通用多模式基础模型BEIT-3，该模型BEIT-3，该模型在视觉和视觉任务上都实现了最新的转移性能。具体来说，我们从三个方面提出了大融合：骨干架构，预训练任务和模型扩展。我们介绍了多道路变压器进行通用建模，其中模块化体系结构可以实现深融合和模态特定的编码。基于共享的骨干，我们以统一的方式对图像（Imglish），文本（英语）和图像文本对（“平行句子”）进行蒙面的“语言”建模。实验结果表明，BEIT-3在对象检测（COCO），语义分割（ADE20K），图像分类（Imagenet），视觉推理（NLVR2），视觉询问答案（VQAV2），图像字幕上获得最先进的性能（可可）和跨模式检索（Flickr30k，可可）。

蒙版图像建模（MIM）通过恢复损坏的图像补丁，在自我监督的表示学习中表现出了令人印象深刻的结果。但是，大多数方法仍在低级图像像素上运行，这阻碍了对表示模型的高级语义的开发。在这项研究中，我们建议将富含语义的视觉令牌用作掩盖预测的重建目标，从而提供了一种系统的方式来促进MIM从像素级到语义级别。具体而言，我们引入了矢量定量的知识蒸馏以训练令牌仪，该蒸馏器将连续的语义空间离散为紧凑的代码。然后，我们通过预测掩盖图像贴片的原始视觉令牌来预处理变压器。此外，我们鼓励该模型将补丁信息明确汇总到全局图像表示中，该图像表示该设施线性探测。图像分类和语义分割的实验表明，我们的方法优于所有方法比较MIM方法。在ImagEnet-1K（224尺寸）上，基本大小的BEIT V2可实现85.5％的top-1精度，用于微调和80.1％的线性探测的TOP-1精度。大尺寸的BEIT V2获得了ImagEnet-1K（224尺寸）微调的最高1个TOP-1精度，用于语义分割的ADE20K上获得了56.7％MIOU。代码和预估计的模型可在https://aka.ms/beit上找到。

关于现实生活知识图（KGS）的多跳上推理是一个高度挑战的问题，因为传统的子图匹配方法无法处理噪音和缺失信息。为了解决这个问题，最近已经引入了一种有希望的方法，该方法基于将逻辑查询和kgs共同嵌入到一个低维空间中以识别答案实体。但是，现有的提案忽略了KGS中固有可用的关键语义知识，例如类型信息。为了利用类型信息，我们提出了一种新颖的类型感知消息传递（TEMP）模型，该模型可以增强查询中的实体和关系表示形式，并同时改善概括，演绎和归纳推理。值得注意的是，Temp是一种插件模型，可以轻松地将其纳入现有的基于嵌入的模型中以提高其性能。在三个现实世界数据集上进行了广泛的实验证明了温度的有效性。

具有高级别规格的自治系统的运动规划具有广泛的应用。然而，涉及定时时间逻辑的正式语言的研究仍在调查中。此外，许多现有结果依赖于用户指定的任务在给定环境中可行的关键假设。当操作环境是动态和未知的挑战时，由于环境可以找到禁止，导致预先定时定时任务无法完全满足潜在冲突的任务。在考虑时间束缚要求时，这些问题变得更具挑战性。为了解决这些挑战，这项工作提出了一种控制框架，其考虑了强制限制来强制执行安全要求和软限制，以启用任务放松。使用度量间隔时间逻辑（MITL）规范来处理时间限制约束。通过构建轻松的定时产品自动机，在线运动规划策略与后退地平线控制器合成以产生政策，以减少优先顺序的降低方式实现多重目标1）正式保证了对硬安全限制的满足感; 2）主要满足软定时任务; 3）尽可能收集时变奖励。放松结构的另一个新颖性是考虑违反时间和任务的不可行情况。提供仿真结果以验证所提出的方法。

Text style transfer aims to alter the style of a sentence while preserving its content. Due to the lack of parallel corpora, most recent work focuses on unsupervised methods and often uses cycle construction to train models. Since cycle construction helps to improve the style transfer ability of the model by rebuilding transferred sentences back to original-style sentences, it brings about a content loss in unsupervised text style transfer tasks. In this paper, we propose a novel disentanglement-based style transfer model StyleFlow to enhance content preservation. Instead of the typical encoder-decoder scheme, StyleFlow can not only conduct the forward process to obtain the output, but also infer to the input through the output. We design an attention-aware coupling layers to disentangle the content representations and the style representations of a sentence. Besides, we propose a data augmentation method based on Normalizing Flow to improve the robustness of the model. Experiment results demonstrate that our model preserves content effectively and achieves the state-of-the-art performance on the most metrics.

鉴于其广泛的应用，已经对人面部交换的任务进行了许多尝试。尽管现有的方法主要依赖于乏味的网络和损失设计，但它们仍然在源和目标面之间的信息平衡中挣扎，并倾向于产生可见的人工制品。在这项工作中，我们引入了一个名为StylesWap的简洁有效的框架。我们的核心想法是利用基于样式的生成器来增强高保真性和稳健的面部交换，因此可以采用发电机的优势来优化身份相似性。我们仅通过最小的修改来确定，StyleGAN2体系结构可以成功地处理来自源和目标的所需信息。此外，受到TORGB层的启发，进一步设计了交换驱动的面具分支以改善信息的融合。此外，可以采用stylegan倒置的优势。特别是，提出了交换引导的ID反转策略来优化身份相似性。广泛的实验验证了我们的框架会产生高质量的面部交换结果，从而超过了最先进的方法，既有定性和定量。

深度学习的视频介绍已取得了令人鼓舞的结果，并引起了研究人员的越来越多的关注。通常，这些方法通常假定每个框架的损坏区掩模都是已知且易于获得的。但是，这些口罩的注释是劳动密集型且昂贵的，这限制了当前方法的实际应用。因此，我们希望通过定义新的半监督镶嵌设置来放松这一假设，使网络具有仅使用一个框架的注释掩码来完成整个视频损坏区域的能力。具体而言，在这项工作中，我们提出了一个由完成网络和掩码预测网络组成的端到端可训练框架，该框架旨在使用已知的掩码生成当前框架的损坏内容，并决定将填充下一个区域框架分别。此外，我们引入了周期一致性损失，以使这两个网络的训练参数正常。这样，完成网络和掩码预测网络可以相互限制，因此可以最大化训练有素的模型的整体性能。此外，由于先验知识的自然存在（例如，损坏的内容和清晰的边界），当前的视频介绍数据集在半监督视频介绍的背景下不适合。因此，我们通过模拟现实情况的损坏视频来创建一个新的数据集。据报道，广泛的实验结果证明了我们在视频介绍任务中模型的优越性。值得注意的是，尽管我们的模型以半监督的方式进行了训练，但它可以作为完全监督的方法实现可比的性能。

Modern object detectors have taken the advantages of backbone networks pre-trained on large scale datasets. Except for the backbone networks, however, other components such as the detector head and the feature pyramid network (FPN) remain trained from scratch, which hinders fully tapping the potential of representation models. In this study, we propose to integrally migrate pre-trained transformer encoder-decoders (imTED) to a detector, constructing a feature extraction path which is ``fully pre-trained" so that detectors' generalization capacity is maximized. The essential differences between imTED with the baseline detector are twofold: (1) migrating the pre-trained transformer decoder to the detector head while removing the randomly initialized FPN from the feature extraction path; and (2) defining a multi-scale feature modulator (MFM) to enhance scale adaptability. Such designs not only reduce randomly initialized parameters significantly but also unify detector training with representation learning intendedly. Experiments on the MS COCO object detection dataset show that imTED consistently outperforms its counterparts by $\sim$2.4 AP. Without bells and whistles, imTED improves the state-of-the-art of few-shot object detection by up to 7.6 AP. Code is available at https://github.com/LiewFeng/imTED.

在只有有限的数据可用的低资源场景中，自然语言处理（NLP）的建立模型（NLP）具有挑战性。基于优化的元学习算法通过适应良好的模型初始化来处理新任务，从而在低资源场景中实现了有希望的结果。尽管如此，这些方法遭受了记忆过度拟合问题的困扰，在这种情况下，模型倾向于记住元训练任务，而在适应新任务时忽略了支持集。为了解决此问题，我们提出了一种内存模仿元学习（MEMIML）方法，该方法增强了模型对任务适应的支持集的依赖。具体来说，我们引入了一个特定于任务的内存模块来存储支持集信息并构建一个模仿模块，以强制查询集，以模仿存储在存储器中的某些代表性支持集样本的行为。提供了一种理论分析来证明我们方法的有效性，经验结果还表明，我们的方法在文本分类和生成任务上都优于竞争基准。

先进的面部交换方法取得了吸引力的结果。但是，这些方法中的大多数具有许多参数和计算，这使得在实时应用程序中应用它们或在移动电话等边缘设备上部署它们的挑战。在这项工作中，通过根据身份信息动态调整模型参数，提出了一种用于主目不可知的人的动态网络（IDN），用于通过动态调整模型参数。特别地，我们通过引入两个动态神经网络技术来设计高效的标识注入模块（IIM），包括权重预测和权重调制。更新IDN后，可以应用于给定任何目标图像或视频的交换面。所呈现的IDN仅包含0.50米的参数，每个框架需要0.33g拖鞋，使其能够在移动电话上运行实时视频面。此外，我们介绍了一种基于知识的蒸馏的方法，用于稳定训练，并且使用损耗重量模块来获得更好的合成结果。最后，我们的方法通过教师模型和其他最先进的方法实现了可比的结果。